Thinking Inertia: LLMs Keep Thinking When Told Not To
思考惯性：LLM 被要求不思考时仍在思考
🧭 LLM 推理行为评估与指令遵循
Tsinghua University · University of Oxford · Stanford University
系统评估 LLM 的“不思考”能力，提出三层指标并发现显式禁用推理无法可靠消除思维惯性
📌 工作参考价值（4 点）
- 在电商/Agent 系统中若依赖“禁用 thinking”来节省推理开销，不能只看模型设置或提示词，需用空思考率、问题-预答相关度、显式推理率等指标做线上回归，才能避免隐性推理延迟。
- 对搜索推荐 query 改写、客服 Agent 等场景，把开放生成改成先给候选答案或多选题形式，可显著提高“直接给答案”的合规率，减少推理 token 与耗时。
- 评估 LLM 输出是否真的“无推理”时，可复用 LLM-as-judge 的 Explicit Inference Rate 指标，业务侧能低成本监控模型行为。
- 若业务需要高准确度且答案空间开放，要接受“禁止推理”会带来准确率下降的 trade-off，设计时需评估延迟、成本与效果。